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基于 负载 预测 的 微服 务 混合 自动 扩展 
宋 程 豪 ， 江 凌云 
(南京 邮电 大 学 通信 与 信息 工程 学 院 ， 南京 210003) 


jj 要 : 由 于 边缘 云 没 有 比 中 心 云 更 强大 的 计算 处 理 能 力 ， 在 应 对 动态 负载 时 很 容易 导致 无 意义 的 扩展 持 动 或 资 
源 处 理 能 力 不 足 的 问题 ， 所 以 本 文 在 一 个 真实 的 边缘 云 环境 中 对 微服 务 应 用 程序 使 用 两 个 合成 和 两 个 实际 工作 负 
载 进行 实验 评估 ， 并 提出 了 一 种 基于 负载 预测 的 混合 自动 扩展 方法 (Predictively Horizontal and Vertical Pod 
Autoscaling，Pre-HVPA)。 该 方法 首先 采用 机 器 学 习 对 负载 数据 特征 进行 预测 ， 并 获得 最 终 负载 预测 结果 。 然 后 利 
用 预测 负载 进行 水 平和 重 直 的 混合 自动 扩展 。 仿真 结 果 表 明 ， 基 于 该 方法 所 进行 自动 扩展 可 以 减少 扩展 拌 动 和 容 
器 使 用 数量 ， 所 以 适用 于 边缘 云 环 境 中 的 微服 务 应 用 。 
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Hybrid autoscaling of microservices based on workload prediction 


Song Chenghao, Jiang Lingyun? 
(College of Telecommunications & Information Engineering, Nanjing University of Posts & Telecommunication, Nanjing 
210003, China) 


Abstract: Since edge clouds are not more powerful than the central cloud, it is easy to lead to unexpected autoscaling or low 
resource processing capabilities in response to dynamic workload. Therefore, this paper used the microservice application in 
a real edge cloud environment to experimentally evaluate two synthesis and two actual workloads. And this paper proposed a 
hybrid autoscaling method based on workload prediction (Predictively Horizontal and Vertical Pod Auto-scaling, Pre-HVPA) , 
which first uses machine learning to carry out the workload data characteristics. After obtaining the final workload prediction 
result, this paper use the predictive workload for hybrid autoscaling module. The simulation shows that the microservice 
autoscaling policy based on this method can reduce more scaled jitter and more pod container use, and the method is scalable, 
so it is suitable for the microservice applications in edge cloud environment. 
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0 al& 用 程序 实例 的 数量 ， 例 如 Pod(k8s 中 最 小 的 计量 单位 ) 的 数量 。 
di 垂直 自动 扩展 允许 增加 和 减少 分 配给 每 个 应 用 程序 实例 的 计 
在 过 去 几 年 里 ， 云 计算 领域 逐渐 与 物 联网 相 结合 ， 使 得 算 资 源 。 而 大 多 数 现 有 的 解决 方案 仅仅 考虑 了 水 平 自 动 扩 展 
边缘 云 计算 (Multi-access Edge Computing，MEC) 和 采用 微服 。 或 者 垂直 自动 扩展 外 中 的 一 种 。 但 无 论 采用 哪 种 方式 ， 其 
p 务 架 构 (microservice) 的 云端 自动 扩展 技术 逐渐 成 为 关注 的 方 扩展 所 需 的 资源 都 非常 多 。 尤 其 是 水 平 自动 扩展 ， 这 种 扩展 
€ 向 。 边 缘 云 计算 提供 了 离 用 户 和 应 用 程序 更 近 的 微 数据 中 心 技术 是 将 微服 务 复制 到 其 他 机 器 上 以 实现 高 可 用 性 。 然 而 单 
(Micro Data Center, MDO) 设 施 ， 这 有 助 于 克服 应 用 程序 延 纯 地 通过 将 一 个 微服 务 从 一 台 机 器 复制 到 另 一 台 机 器 上 ， 并 
迟 问题 。 微 服务 喇 是 一 种 新 兴 的 体系 架构 ， 它 可 以 将 应 用 程 不 是 一 个 节省 资源 的 方法 ， 因 为 它 的 资源 会 在 扩展 时 被 复制 。 
序 构建 为 多 个 细 粒 度 的 分 布 式 组 件 的 组 合 ， 这 些 组件 可 以 互 所 以 这 种 方法 是 贪 焚 的 ， 只 适用 于 不 缺乏 硬件 资源 的 条 件 下 吕 ， 
相交 互 ， 以 服务 于 复杂 的 业务 实例 。 如 今 ， 许 多 工业 应 用 程 这 显然 不 适用 于 粒度 细 、 资 源 少 的 边缘 云 平 台 。 
序 ， 尤 其 是 边缘 云 和 基于 物 联网 的 服务 ， 都 采用 微服 务 体系 此 外 ， 在 容器 级 别 的 自动 扩展 中 ，k8s 的 自动 扩展 策略 
架构 。 边 缘 云 平台 采用 微服 务 架 构 ， 在 带 来 很 多 优势 的 同时 是 基于 阔 值 的 四。 这 种 方法 在 应 对 动态 负载 时 会 产生 较 多 的 
存在 着 很 多 问题 ， 例 如 其 处 理 资 源 请 求 的 能 力 就 远 不 如 采 伸缩 抖动 ， 从 而 产生 额外 的 资源 开销 四。 尽管 目前 有 一 些 丰 
用 微服 务 架 构 的 中 心 云 。 而 对 于 处 理 资源 请 求 的 问题 多 采用 究 对 k8s 的 自动 扩展 策略 进行 了 改进 研究 ， 采 用 了 基于 负载 
微服 务 自动 扩展 进行 处 理 ， 所 以 基于 边缘 云 的 微服 务 系统 所 预测 的 方法 ， 其 性 能 相 较 于 基于 阔 值 的 自动 扩展 策略 获得 了 
面临 的 一 个 主要 挑战 是 如 何在 动态 变化 负载 的 请 求 之 下 ， 采 一 定 的 提升 ， 但 他 们 的 方法 对 于 处 理 能 力 较 低 的 边 
取 有 效 的 方法 进行 应 用 程序 的 自动 扩展 ， 从 而 来 降低 边缘 云 并 不 适用 。 此 外 较 低 的 负载 波动 也 不 能 很 好 体现 扩展 的 效果 。 
资源 的 消耗 证 。 所 以 ， 针 对 上 述 问题 ， 如 何 找 到 一 种 在 边缘 云 平 台 低 资 
现 阶段 ， 已 经 有 许多 工具 可 以 进行 微服 务 的 自动 扩展 ， 源 消耗 ， 细 粒度 的 自动 扩展 策略 是 目前 研究 的 重 难点 之 一 。 
例如 当前 非常 流行 的 容器 编排 管理 工具 Kubernetes( 下 文 均 
以 简称 k8s 替代 )， 它 允许 通过 水 平 自动 扩展 (Horizontal Pod 1 相关 工作 
Scaling，HPA) 或 者 垂直 自动 扩展 (Vertical Pod Scaling, VPA) 前 ， 国 内 外 学 者 已 经 提出 了 一 些 关 于 微服 务 自动 扩展 
来 适应 应 用 程序 部 署 。 其 中 水 平 自 动 扩 展 允 许 增 加 和 减少 应 策略 与 算法 。 
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是 一 项 具有 挑战 性 的 工作 ， 在 容器 级 别 上 需要 调整 诸多 的 缩 
放 参 数 才能 确定 一 个 最 优 的 阔 值 来 进行 自动 扩展 。 此 外 ， 
k8s 还 增加 了 对 垂直 自动 缩放 器 的 支持 ， 然 而 ， 在 发 布 时 ， 
它 仍 然 是 一 个 测试 性 的 概念 ， 并 没有 关于 垂直 自动 扩展 实现 09 
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的 具体 细节 。 
针对 k8s 所 存在 的 问题 。 文 献 [3] 基 于 Q 理论 提出 了 一 种 。， um Pod | 

新 颖 的 算法 ， 用 于 自 适应 和 动态 地 调整 阐 值 ， 并 在 满足 。 LR | 

SLA 目标 时 不 需要 用 户 进 行 额外 配置 。 该 方法 在 一 定 程度 [e gi gas LLL O 

上 改进 了 现 有 水 平 自动 扩展 关于 难以 确定 阔 值 的 问题 ， 但 是 ium 一 ! 

对 于 变化 迅速 的 工作 负载 效果 则 并 不 好 。 文 献 [9] 利用 人 工 图 1 边缘 云 部 署 框架 区 

神经 网 络 和 资源 优化 方法 来 预测 工作 量 ， 并 用 于 运行 在 云 中 Fig. 1 Edge cloud deployment framework 

基础 设施 上 的 微服 务 自动 扩展 。 该 方法 实现 了 应 用 程序 经 济 2.2 k8s 自动 扩展 方案 

有 效 的 自动 扩展 。 文 献 [12] 提 出 了 一 种 窗口 预测 的 方法 ， 对 k8s 作为 现在 最 流行 的 容器 解决 方案 ， 提 供 了 服务 发 现 ， 

雾 中 的 微服 务 应 用 进行 自动 扩展 ， 并 改善 了 响应 时 间 的 。 ”资源 调度 ， 监 控 ， 应 用 部 署 与 自动 扩展 等 服务 。 它 在 微服 务 

SLO。 文 献 [13] 虽 然 使 用 ARIMA 模型 对 负载 作出 短期 预测 ， ”应 用 程序 自动 扩展 方面 给 出 的 解决 方案 是 基于 阅 值 的 水 平 自 


相 比 基于 阔 值 的 自动 扩展 作出 了 改进 ， 但 是 它 的 扩展 策略 仍 。”” 动 扩展 。 这 种 扩展 策略 存在 两 个 问题 ,采用 阐 值 进行 自动 扩 
然 采 用 的 是 水 平 自动 扩展 ， 而 单纯 复制 Pod 副本 这 种 粗 粒 度 。 展 时 的 问题 在 于 很 难 确定 一 个 良好 的 阔 值 ， 水 平 自动 扩展 的 
的 水 平 扩展 方法 不 适用 于 边缘 云 平台 。 上 述 研究 的 改进 均 聚 焦 ” 粗 粒度 ， 是 在 给 定 Pod 的 CPU 或 者 内 存 利用 率 (所 请 求 相 应 
于 对 基于 阔 值 扩展 的 次 端 ， 并 没有 考虑 扩展 的 粒度 以 及 维度 。 资源 数量 的 百分比 ) 超 过 上 限 阔 值 或 者 低 于 下 限时 进行 扩展 
事实 上 ， 大 多 数 现 有 的 自动 扩展 策略 仍然 是 水 平 或 垂直 和 缩减 的 过 程 ， 而 这 个 过 程 中 单个 Pod 的 利用 率 并 没有 达到 
的 。 文 献 [11] 基 于 强化 学 习 提出 了 一 种 提升 QOS 的 算法 ， 用 最 优 ， 即 存在 多 个 Pod 扩展 和 缩减 后 的 资源 没有 完全 使 用 。 


于 改善 k8s 水 平 扩展 的 响应 时 间 过 长 问题 ， 并 在 应 用 程序 满 算法 1 kubernetes 水 平 自动 扩展 
足 响应 时 间 时 简化 用 户 的 配置 过 程 。 该 方法 使 用 灾难 管理 系 1) 输入 : 应 用 负载 资源 请 求 总 数 Usage , T PREH, Pod 的 资源 
统 进 行 测试 与 验证 ， 在 一 定 程度 上 改进 了 现 有 水 平 自动 扩展 需求 值 Request, ; 
响应 时 间 的 问题 ， 但 是 灾难 管理 系统 带 来 的 工作 负载 过 大 ， 2) 输出 :Pod 扩展 的 数量 NumPods ; 
不 适合 边缘 云 中 的 应 用 程序 。 文 献 [15] 提 出 了 一 个 框架 ， 该 3) 计 算 扩 展 与 缩减 阔 值 t=T+(+tolreance) 
框架 通过 监测 收集 容器 的 资源 利用 率 来 进行 自动 扩展 ， 并 考 T; -T - (0. —tolreance) ， 其 中 tolreance 为 默认 值 6.1; 
虑 到 波动 的 容器 数量 。 然 而 他 们 采用 的 仍然 是 单 维 度 的 自动 4) 计算 资源 利用 率 Unilization = EE , 
扩展 方法 ， 并 没有 考虑 更 加 细 粒 度 的 扩展 策略 。 Request, 

到 目前 为 止 ， 只 有 部 分 文献 考虑 将 两 个 扩展 维度 结合 到 5) 判断 Utilization > Tr ， 车 满足 该 条 件 则 Pod 数量 NumPods+1, JZ 
容器 的 应 用 程序 中 。 文 献 [14] 在 更 细 粒 度 的 混合 自动 扩展 上 之 则 NumPods — ; 
取得 了 成 效 ， 并 通过 强化 学 习 方法 优化 了 响应 时 间 。 文 献 [4] 6) 最 终 统计 NumPods 扩展 数量 的 结果 。 
EHH IBM 自主 计算 的 Mape-K 原理 进行 垂直 扩展 ， 通 过 充分 k8s 自动 扩展 算法 ( 见 算法 1) 利 用 水 平 自动 扩展 来 调整 
利用 垂直 弹性 ， 应 用 程序 可 以 通过 细 粒 度 的 垂直 扩展 更 多 减 Pod 副本 的 数量 ， 以 满足 当前 传 入 的 负载 请 求 。 该 算法 (第 4 
少 容器 的 使 用 数量 ， 同 时 也 可 以 通过 水 平 扩展 应 对 工作 负载 AMAAN Kubermetes) 是 根据 当前 资源 利用 率 增 加 或 减少 微 


高 峰 。CloudVAMP07 是 一 个 为 VM 提供 内 存 超额 订阅 机 制 。” 服务 实例 Pod 的 数量 。 如 果 一 个 微服 务 及 其 所 有 副本 的 平均 
的 平台 。 内 存 超额 订阅 允许 虚拟 机 使 用 比 主机 可 用 内 存 更 多 资源 利用 率 超 过 某 个 目标 百分比 阔 值 ， 那 系统 将 扩大 Pod 副 
的 内 存 ， 即 垂直 扩展 。 然 而 CloudVAMP 不 支持 对 不 同类 型 。” 本 的 数量 。 相 反 ， 当 平均 资源 利用 率 低 于 闵 值 时 ， 系 统 将 减 
的 负载 进行 扩展 ， 从 而 丧失 了 实现 更 细 粒 度 资 源 管理 的 能 力 。 少 Pod 副本 的 数量 。 资 源 利 用 率 计算 为 资源 分 配 量 超过 请 求 
上 述 文献 与 本 文 的 工作 不 同 ， 本 文 重点 考虑 的 是 边缘 节点 的 ”总数 。 为 了 获取 平均 资源 利用 率 ， 本 文 设置 每 5s 获取 一 次 
微服 务 进 行 自动 扩展 时 的 资源 消耗 问题 。 资源 请 求 数量 ， 并 计算 对 应 时 刻 的 平均 资源 利用 率 。 该 策略 
本 文 主要 基于 [13]，[14] 文 献 进行 改进 ， 对 基于 预测 后 。 为 下 文 改 进 方案 时 的 基准 方案 ， 其 大 致 实现 架构 见 图 2。 

的 负载 结果 采取 了 混合 自动 扩展 的 策略 ， 从 而 减少 扩展 的 容 
器 副本 数量 (Pod 副本 数量 ) 以 及 扩展 抖动 的 次 数 。 


2 ”边缘 云 微服 务 平台 部 署 uod 


Pod 1 Pod 2 CELL Pod N 


21 部 署 框架 uem 
在 边缘 云 环 境 中 ， 首 先 将 中 心 云 与 边缘 云 平台 的 模块 进 
行 重新 配置 和 依赖 分 解 ， 从 而 实现 云 平台 组 件 的 容器 化 。 然 
后 分 别 在 中 心 云 和 边缘 云 节点 安装 k8s 工作 负载 节点 。 最 后 
在 完成 基础 设施 编排 服务 、k8s 集群 和 边缘 云 节点 的 配置 后 ， IRURE 
再 对 云端 连接 组 件 进行 定义 ， 实 现 中 心 云 数 据 与 边缘 云 计 算 图 2 Kubernetes 水 平 自动 扩展 过 程 
节点 之 间 的 信息 控制 。 在 中 心 云 与 边缘 云 部 署 k8s 的 实现 如 Fig.2  Kubernetes horizontal pod autoscaling schematic 
图 1。 为 了 更 好 的 体现 本 文 在 边缘 云 的 自动 扩展 策略 ， 下 面 2.3 ”预测 式 与 响应 式 自动 扩展 算法 的 局 限 性 
对 当下 最 流行 的 解决 方案 的 扩展 流程 进行 简单 的 阐述 并 将 其 在 现 有 文献 中 ， 通 常 只 是 提出 预测 方法 改进 k8s 的 反映 


在 后 续 作 为 基准 方案 进行 对 比 与 衡量 。 式 扩展 带 来 的 抖动 问题 ， 或 将 问题 的 重心 放 在 通过 改变 扩 
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法 (在 第 4 章 仿真 分 析 中 命名 为 HPA) 采 | 
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E : TEX, F: 基于 负载 预测 的 微服 务 混 合 自动 扩展 第 39 卷 第 8 期 
09， 本 文 对 比 预 测 式 法 (CSVR)， 利 用 从 传感器 收集 的 历史 日 志 来 预测 下 一 个 时 间 段 
1f ARIMA 的 的 温度 。 这 种 基准 测试 的 应 用 程序 模拟 CPU 密集 型 以 及 内 存 


短期 预测 算法 ， 其 输入 为 应 用 的 资源 利用 率 ， 输 出 即 为 密集 型 的 工作 负载 ， 这 是 微服 务 设计 的 典型 业务 用 例 。 例 如 ， 
ARIMA 预测 自动 扩展 值 ， 通 过 预测 时 间 序 列 模型 即 对 资源 可 以 为 物 联网 工业 应 用 中 的 数据 预测 、 搜 索 算 法 、 数 字音 频 / 
利用 率 进 行 均值 化 处 理 ， 并 利用 处 理 后 的 结果 计算 自 相关 和 视频 内 容 转 换 、 数 据 压缩 任务 设计 通用 的 微服 务 应 用 。 
偏 自 相关 函数 得 到 结果 值 。 这 种 方法 存在 的 局 限 性 在 于 它 只 3.0 导入 工作 负载 
是 对 导入 微服 务 的 负载 采取 预测 ， 尽 管 在 拌 动 的 次 数 上 取得 为 了 评估 所 使 用 的 预测 混合 自动 扩展 模型 ， 本 文 使 用 J 
了 优化 ， 但 是 提前 预知 并 作出 扩展 会 导致 使 用 更 多 的 Pods 两 种 合成 负载 和 两 种 真实 负载 。 两 种 合成 负载 分 别 为 递增 型 
数量 ， 从 而 使 用 更 多 的 计算 资源 。 本 文 对 比 响应 式 混合 自动 和 周期 型 工作 负载 ， 于 模拟 应 用 程序 的 常规 负载 变化 情 
扩展 算法 04( 在 第 4 EMAN HVPA) 采 用 强化 学 习 进 行 微服 况 。 当 应 用 程序 的 大 多 数 用 户 开 始 访问 服务 时 ， 通 常 都 会 观 
务 混合 自动 扩展 ， 使 用 基于 模型 的 强化 学 习 更 新 算法 ， 该 算 察 到 负载 的 持续 增加 。 对 于 周期 型 负载 在 实际 的 应 用 程序 中 
法 的 本 质 是 从 微服 务 自动 扩展 的 细 粒 度 角度 出 发 ， 通 过 9 步 也 是 非常 常见 的 ， 并 且 会 在 持续 的 时 间 内 符合 周期 性 变化 。 
转移 模型 引入 垂直 自动 扩展 。 从 而 可 以 更 精确 的 扩展 微服 务 。 首先 通过 初始 化 固定 的 请 求 数量 M(w) ， 然 后 以 每 分 钟 
然而 引入 细 粒 度 扩 展 却 导致 了 在 扩展 的 过 程 中 采取 精确 扩展 固定 的 增长 率 Ag 增加 工作 负载 ， 具 体 计算 如 式 (1) 所 示 。 
数量 为 目标 ， 而 这 样 会 导致 在 负载 频繁 发 生 改变 时 ， 微 服务 M(D) =M (t) ( - DAq + r. Rand (N(. 1) (1) 
的 Pods 副本 也 会 频繁 进行 扩展 与 缩减 ， 从 而 产生 了 无 谓 的 其 中 设 定 Mo)=100 ， Aq-60, 5-30, X(ID)fVX TE MO 120 
申 缩 抖 动 ， 同 样 不 利于 边缘 云 的 资源 利用 。 需 要 注意 的 是 ， 分 钟 内 的 请 求 总 数 。 
k8s 方案 为 现 有 的 基准 方案 ， 对 于 抖动 次 数 和 Pods 副本 扩展 为 生成 周期 型 的 工作 负载 ， 本 文 使 用 了 一 个 周期 为 4 ， 
数量 这 两 种 指标 都 有 待 优化 ， 而 上 述 基 于 负载 预测 的 自动 扩 振幅 为 4 ， 初 始 偏 置 因子 为 vao) 的 正弦 函数 。 具 体 计算 如 
展 方案 以 及 响应 式 混合 自动 扩展 方案 都 只 能 对 其 中 一 种 指标 式 (2) 所 示 。 
进行 优化 与 改进 。 为 了 能 在 两 个 指标 均 产 生 一 定 的 优化 ， 本 2t 
文 利 用 机 器 学 习 对 两 种 真实 负载 和 两 种 合成 负载 进行 特征 预 SUUM. onn Q 
测 ， 并 提出 了 一 种 混合 式 自动 缩放 算法 。 该 算法 的 优势 在 于 其 中 设 定 Cdo)=3500 ， 422500, 4=50 来 生成 周期 型 工作 负载 。 
结合 了 预测 算法 与 混合 自动 扩展 ， 能 提前 扩展 处 理 变化 迅速 关于 两 种 真实 负载 主要 使 用 了 已 公开 的 阿里 云天 池 
的 负载 ， 从 而 减少 频繁 的 扩展 抖动 ， 同 时 通过 计算 最 大 最 小 2020 混合 云 的 工作 负载 跟踪 来 模拟 真实 世界 的 工作 负载 情 
的 副本 资源 ， 优 先进 行 垂直 扩展 ， 更 多 利用 单个 副本 的 细 粒 况 。 其 中 包括 CPU 计算 密集 型 负载 与 IO 内 存 密集 型 负载 。 
度 资源 ， 完 成 混合 式 自动 扩展 ， 减 少 了 在 负载 变化 相对 缓慢 3.8 ”对 负载 数据 进行 训练 、 机 器 学 习 模块 
时 进行 扩展 所 使 用 的 Pods 数量 ， 最 终 达到 整体 减少 资源 消 本 文 利用 4 种 工作 负载 的 数据 集 ， 对 5 种 不 同 的 线性 下 
耗 的 目的 。 归 模 型 进行 训练 ， 对 比 不 同 的 预测 模型 (包括 线性 回归 模型 
-— - "M LRUS]、 弹 性 网 模型 ENU9、 多 项 式 回 归 模 型 PRPO 、 
3 ”预测 混合 自动 扩展 算法 (Pre-HVPA) XGBoost 模型 XGBP21I、 决 策 树 模 型 DTR) fi y Æ H 
为 解决 自动 扩展 中 Pod 资源 消耗 过 度 和 伸缩 抖动 的 问题 ，“ MSE( 均 方 误差 )。 从 而 评估 对 本 文 预测 准确 性 ， 并 最 终 选取 
本 文 提 出 了 一 种 使 用 机 器 学 习 进行 负载 预测 的 混合 自动 扩展 测试 数据 MSE 最 小 的 机 器 学 习 方 法 作为 本 文 提出 的 混合 自 
方法 。 图 3 是 本 文 提出 的 方法 框图 ， 其 主要 步骤 如 下 ， 首 先 动 扩 展 模型 的 学 习 算法 。MSE 的 计算 方法 见 式 (3)。 
为 部 署 在 边缘 设备 的 微服 务 生 成 了 增长 型 和 周期 型 的 工作 负 MSE- LY y-a] @) 
载 并 采集 了 CPU 密集 型 负载 与 IO 内 存 密集 型 负载 的 信息 。 mi 
其 次 通过 对 负载 信息 进行 划分 ， 使 用 机 器 学 习 对 模型 进行 训 该 参数 可 以 反映 估计 值 与 真实 值 的 差异 程度 ， 其 中 请 
练 ， 从 而 对 负载 信息 进行 预测 。 最 后 将 得 到 的 负载 预测 结果 表示 样本 数量 ， 表示 真实 值 ， 六 表示 预测 值 。 通 过 评估 
集成 本 文 所 提出 的 边缘 云 k8s 平台 的 混合 自动 扩展 模块 ， 从 后 的 MSE 结果 如 表 1。 
而 获得 所 需 的 Pod 数量 变化 以 及 伸缩 次 数 的 统计 。 表 1 数据 集 预 测 误差 MSE 
开始 Tab.1 Prediction error(MSE) of dataset 
: Method MSE Method MSE 
"CETUR LR 0.682 DTR 0.212 
EN 0.554 XGB 0.126 
x i PR 0.480 BR 0.078 
S Esca: 经 过 10 次 测试 ， 分 别 取 7 种 方法 的 MSE 平均 值 后 ， 可 
i + 以 看 出 ，BR 机 器 学 习 方法 对 LR、EN、PR、DTR、XGB 有 
对 负载 禾 品 进行、 混合 自动 扩展 模块 88.5%，85.9%，83.8%，63.2%，38.1% 的 改善 。 为 提升 混合 
自动 扩展 所 得 结果 的 准确 性 ， 选 取 预 测 负 载 更 好 的 模型 非常 
IARRI 重要 。 所 以 本 文选 取 BR 为 最 终 的 机 器 学 习 算 法 。 
TEE 34 混合 自动 扩展 算法 
将 上 面 训 练 好 的 机 器 学 习 模型 以 及 对 预测 后 的 工作 负载 
- 数据 输入 到 本 文 所 提出 的 混合 自动 缩放 模块 ， 进 行 自动 扩展 。 
图 3 ”预测 混合 扩展 方法 框图 本 文 所 提出 的 混合 自动 扩展 算法 主要 目标 是 在 微服 务 之 
Fig.3 Block diagram of predicting hybrid scaling method 间 保 持 一 种 高 可 用 性 、 低 消耗 性 。 每 个 边缘 节点 以 高 资源 利 
3.1 部 署 边缘 应 用 用 率 的 方式 来 动态 的 扩展 资源 。 一 些微 服务 倾向 于 使 用 k8s 
本 文 使 用 部 署 在 边缘 云 节点 的 设备 ( 见 4.1 实验 环境 ) 来 运行 。 进行 有 效 的 扩展 ， 然 而 这 会 导致 更 多 的 资源 消耗 。 所 以 水 平 
微服 务 应 用 程序 ， 该 应 用 程序 使 用 基于 回归 的 监督 机 器 学 习 算 自动 扩展 并 不 是 总 是 最 佳 的 解决 方案 ， 因 为 扩展 一 个 新 的 副 
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录用 定稿 


本 实例 (Pod 容器 ) 会 需要 更 多 的 资源 。 此 外 ， 在 进行 混合 自 
动 扩展 时 ， 仍 然 需 要 保持 水 平 自动 扩展 微服 务 的 状态 ， 因 为 
它 需 要 一 个 一 致 性 的 模型 来 维护 所 有 副本 之 间 的 状态 。 所 以 


REZ, 


在 水 平 扩展 不 适用 


纯 的 进 
保留 粗 粒度 水 平 自动 扩 


ILB 


的 场景 中 ， 


最 好 的 扩展 策略 是 能 为 特定 的 
Pod 容器 带 来 更 多 的 资源 ， 即 垂直 自动 扩展 。 本 文 所 提出 的 


混合 自动 扩展 算法 与 只 进行 粗 粒 度 水 平 扩展 不 同 ， 


不 是 单 


整 。 这 将 大 幅度 减少 复 
节点 的 资源 浪费 。 
本 文 的 混合 


ff Pod 的 复制 ， 而 是 能 确定 的 精确 的 微服 务 需 求 ， 在 
展 的 同时 ， 加 入 了 所 需要 的 名 


粒度 调 


度量 标准 。 


对 于 


所 得 的 CPU 利用 率 ， T 
为 更 好 的 将 不 同 
的 资源 请 求 数 量 ( 资 源 利 


动 扩展 对 不 同 的 负载 类 型 使 用 不 同 的 扩展 
CPU 密集 型 负载 本 文采 取 由 请 求 数量 计算 
内 存 密集 型 则 以 内 存 利 / 
的 负载 进行 同等 量化 ， 后 续 一 致 以 相应 负载 


Bl Pod 容器 的 数量 ， 从 而 减少 边缘 云 


等 : 基于 负载 预测 的 微服 务 混合 自动 扩展 
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试 所 提出 的 混合 自动 扩展 模型 ， 该 集群 包括 了 4 台 物 理 机 器 
分 别 搭建 了 版 本 互相 兼容 的 Docker 和 Kubernetes， 其 详细 机 


器 配置 以 及 集群 的 版 本 信息 如 表 2 所 示 。 
表 2 边缘 云集 群 信息 
Tab. 2 Equipment information of MEC 
计算 资源 版 本 规格 计算 资源 版 本 规格 
操作 系统 CentorOS7.8 Hard disk ITB 
内 存 /GB 4 Docker 18.6.3 
CPU i5 4 核 Kubernetes 1.17.4 
4.2. 负载 预测 结果 分 析 


为 更 好 的 验证 预测 模型 ， 本 文采 用 十 折 交 叉 验 证 法 对 所 
有 的 工作 负载 数据 进行 随机 划分 ， 以 此 生成 训练 集 和 测试 集 ， 


JX, 


70 A RIIAI REIT ER o 


A vy 
YA 2 
输入 : 预测 后 的 负载 资源 Usagepe ，Po 


混合 自动 扩展 算法 


标 资源 利 
输出 : Pod 
初始 化 : Max =10， 
对 观察 时 间 内 的 资源 情况 Usage, 进行 遍历 ， 判 断 资源 当前 资源 利用 率 


X Target ; 


Min,,, =1 d 


e 


while true do 


if sum(Usage e) = (sum(Request,) * Target) 


标 利用 


扩展 策略 不 更 改 ， 进 行 水 平 扩展 ， 


elif sum(Usage pe) » (sum(Request, 


zu 


Pod 副本 水 平 缩减 ， 然 后 将 每 个 Pod 尝 


标 利 


sum(Usage pe) 


CPU 一 — Request, 
p Target * 0.9 


j 率 ) 进 行 衡 量 。 算 法 2 以 CPU 5 


标 利用 率 的 关系 ， 从 而 确定 现 有 资源 分 配 是 否 可 对 


)* Target) 


Pod 副本 尝试 向 上 垂直 扩展 ， 然 后 执行 水 平 扩展 


uy 


d 需求 资源 Request, Pod 的 


扩展 的 数量 NumPods 、 扩 展 与 缩减 次 数 7 ; 
time —120 ; 


其 中 10% 的 数据 作为 测试 集 ，90% 的 数据 作为 训练 集 。 之 所 
以 采用 该 验证 方法 是 因为 通过 大 量 实验 表明 ， 十 等 分 数据 可 
以 获得 最 优 误差 估计 。 

图 4 显示 了 实验 评估 的 4 种 不 同类 型 的 工作 负载 在 120 
分 钟 内 进行 预测 后 的 结果 ， 其 中 图 4(c) 与 图 4(d) 分 别 为 CPU 
密集 型 工作 负载 预测 结果 和 LO 内 存 密集 型 工作 负载 预测 结 
果 。 可 以 看 出 ， 内 存 密集 型 负载 的 请 求 密度 与 请 求 总 数 
均 低 于 CPU 密集 型 负载 ， 这 是 因为 内 存 密集 型 计算 任务 
相对 较 少 。 与 两 种 密集 型 负载 相 比 图 4(a) 增 长 型 与 图 4(b) 


M 


c 


行 垂直 扩展 ; 


// 总 体 资源 分 配 等 于 


最 大 扩展 至 Max, 
// 总 体 资 源 分 配 大 


名 ， 算 法 进行 资源 扩展 阶段 


NumPods, — // 首 先 将 每 


, 


else // 总 体 资源 分 配 小 于 目标 利用 率 ， 算 法 进入 资源 回收 阶段 
NumPods,, » CPU gp, = Request, -TEn /首先 将 


Target * 0.9 


数量 缩减 为 Minm 


end 


for i in range(Q0, time) 


试 向 下 垂直 扩展 ， 最 低 将 Pod 


sumNumPods = sumNumPods + Numpods[i] 


当 将 预测 后 的 负载 导入 混合 缩放 模块 后 ， 算 法 首先 判断 
的 分 配 资源 与 目标 利用 率 的 关系 ， 决 定 是 优先 执行 水 平 
资源 大 于 
展 ， 提 升 每 个 Pod 的 资源 使 用 率 ， 从 而 在 
水 平 扩展 数量 的 同时 ， 依 然 可 以 满足 资源 的 请 求 。 当 资 
请 求 减 小 时 ， 资 源 首先 进行 水 平 缩减 ， 对 Pod 进行 回收 ， 

行 垂直 缩减 ， 可 以 最 大 程度 减少 Pod 的 使 用 数量 ， 达 到 


标 值 时 可 以 优 


所 以 在 进行 自动 扩展 提 


供 了 一 定 的 预测 性 ， 即 可 以 在 已 知 未 来 一 段 时 间 资 源 请 求 的 


动 扩展 ， 避 免 了 许多 无 意义 的 扩展 ， 降 低 


end 
统计 Pod 副本 的 扩展 结果 
总 体 日 
自动 扩展 或 者 垂直 自动 扩展 。 如 果 
先进 行 垂 直 自 动 扩 
减少 
源 
再 进行 
减少 资源 的 消耗 目的 。 
此 外 ， 由 于 输入 的 是 预测 负载 ， 
情况 下 提前 进行 
了 扩展 抖动 的 次 数 ， 使 得 Pod 副本 数量 变化 更 为 平滑 。 
4 ”仿真 
4.1 实验 环境 
本 文 使 用 了 一 个 部 署 在 边缘 云 


中 的 Kubernetes 集群 来 测 


周期 型 负载 显示 出 了 更 好 的 预测 结果 ， 这 是 由 于 任何 的 
机 器 学 习 估计 方法 都 难以 非常 好 的 处 理学 习 的 突 发 过 程 ， 
然而 对 于 这 种 较 难 预测 的 突 发 密集 型 负载 [3 A, KX 
所 采用 的 预测 方法 已 经 产生 了 相对 较 好 的 结果 。 所 以 将 


预测 更 好 的 负载 导入 本 文 泥 合 自动 扩展 模块 时 ， 可 以 获 
得 更 精确 的 自动 扩展 结果 。 
(a) 增 长 型 


60 
时 间 《分 钟 ) 


(b) 周 期 型 


a — Aki 
« 一 一 预测 值 
$i 40001 
P 
3: 2000 | " 
X 
*T 
0 20 4 7] r3 100 120 


(DVO 内 存 密集 型 负载 

图 4 实际 和 预测 负载 实验 评估 结果 
Fig.4 Actual and forecasted load experiment evaluation 
4.3 自动 扩展 结果 分 析 
在 本 节 中 将 介绍 使 用 的 k8s 基于 阐 值 水 平 自动 扩展 方法 ， 
于 负载 预测 的 水 平 自动 扩展 方法 和 基于 阔 值 的 反映 式 混合 
动 扩展 方法 。 并 将 本 文 提 出 的 预测 混合 自动 扩展 结果 与 这 
方法 在 处 理 递增 型 、 周 期 型 、CPU 密集 型 负载 和 内 存 密 
型 负载 时 的 自动 扩展 结果 进行 对 比分 析 。 

4.3.1 CPU 密集 型 负载 结果 分 析 
K8s 的 基础 方案 是 基于 冰 值 的 水 平 


AR mmu 


动 扩展 ， 该 方法 属 
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于 反映 式 的 自 


动 扩展 策略 ， 当 任意 Pod 容器 的 资源 利 
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JXK 


于 用 户 自 定义 
统 会 动态 向 微 


的 打 


EREE k8s 方案 设 定 为 75%) 时 


4? E3 


£g 


服务 中 添加 Pod 容器 副本 。 类 似 地 ， 当 所 有 容 


器 的 资源 利用 


TU 


ANT Hl da RI [ELOHL k8s 方案 设 定 为 50%) 时 ， 
系统 会 从 已 分 配 的 Pod 容器 副本 中 动态 将 其 移 除 。 通 过 添加 
的 容器 ，k8s 方案 也 可 以 适当 地 恢复 应 用 程序 的 性 能 。 


但 是 从 图 


5(a) 可 以 观察 到 ， 在 本 
算 任务 大 ， 变 换 迅 速 的 负载 时 


ij 对 CPU 密集 型 负载 这 类 计 
的 扩展 


， 这 种 方案 产生 了 额 多 


抖动 和 使 
预测 混合 自 
集 型 负载 进行 
并 且 采 用 旨 
源 需 求 计算 ， 


日 
结果 。 


案 针 对 其 反映 
特征 来 进行 预 


JEZ Pod 副本 数量 的 资源 开销 。 所 以 本 文 提出 的 
动 扩展 (Pre-HVPA) 方 法 采 | 


| 负载 预测 对 CPU 密 


特征 预测 ， 能 更 好 的 适应 这 类 动态 变化 负载 ， 


粒度 的 混合 


获得 了 


比 


图 5(b) 的 HPA 方案 是 现 


自动 扩展 ， 以 更 精确 的 资源 预测 和 资 


岗 有 最 流行 的 自动 扩展 方案 更 良好 的 


文献 对 k8s 方案 的 改进 ， 该 方 


式 扩 展 


题 。 但 是 单纯 


前 扩展 且 减 少 扩展 抖动 的 同时 ， 


采 


JF 
用 更 多 的 Pod 副本 数量 。 


MEO. RAT 
测 的 方法 ， 提 前 作出 扩 
1 负载 来 进 和 


是 取 CPU 密集 型 负载 
展 并 改善 扩展 抖动 的 问 
了 水 平 自 动 扩 展 ， 会 导致 使 


可 以 看 到 本 文 提出 的 方案 可 以 在 提 


数量 。 可 以 从 
到 80 分 钟 的 
引入 的 混合 自 


Pod 副本 数量 。 


图 中 看 


动 


图 5(c) 是 


(HVPA) 的 对 比 ， 


目标 ， 而 不 考 
到 40 分 钟 这 
文 预测 的 混合 


与 


岗 有 提出 的 基于 阔 值 的 反映 式 混 合 扩 


使 用 了 尽 可 能 少 的 Pod 副本 


E, Æ 20 到 50 分 钟 时 间 段 内 以 及 70 
时 间 段 内 ， 可 以 看 出 本 文 在 预测 负载 的 基础 上 
扩展 策略 使 用 了 


比 水 平 自 动 扩展 策略 更 少 的 


展 方案 


虑 扩展 
段 时 间 
自动 扩 


这 利 


方案 在 进行 扩 
的 抖动 ， 与 本 文 提 出 的 策 


展 时 会 以 最 小 化 数量 为 
KIHE, Æ 0 


, 


为 为 对 负载 变化 的 进行 提前 预测 ， 本 


ES 


[3 


使 用 了 与 反映 式 混 合 扩展 相近 的 Pod 


副本 数量 ,减少 了 2 次 
钟 负载 急剧 提升 前 ， 本 文 策略 会 提前 作出 扩展 决策 ， 
了 2 次 无 谓 扩 展 ， 使 用 


为 平滑 稳定 。 


无 意义 的 扩展 抖动 。 此 外 ,在 60 分 
也 减少 


尽 可 能 少 的 Pod 副本 数量 来 使 扩展 更 


Pod 数 量 (个 ) 
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! - uud 
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0 


Fig. 


对 于 更 好 
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e (a) 


(c) HVPA 方案 对 比 结果 


图 5 CPU 密集 型 负载 
5 CPU intensive load autoscaling results 
4.3.2 内 存 密集 型 负载 结果 分 析 

的 印证 本 文 的 扩展 策 


动 扩展 结果 


各 ， 本 文 同 样 衡量 了 不 同 


类 型 的 负载 ， 即 内 存 密集 型 负载 。 这 种 负载 相对 于 CPU 密 


集 型 负载 而 言 ， 


^E 


请 求 数量 相对 较 少 且 变 化 也 相对 缓慢 ， 同 样 
代表 意义 的 一 种 测试 负载 类 型 。 
图 6(a) 显 示 本 文 提 出 的 扩 


时 得 扩 


展 结 


即 伸缩 次 数 更 少 


， 首 先 可 以 看 到 ，k8s 方 案 在 应 对 内 存 密集 
型 负载 时 的 扩展 结果 相对 于 CPU 密集 型 变换 较为 缓慢 。 
， 且 整体 使 用 
管 如 此 ， 在 对 这 种 负载 时 ， 本 文 的 预测 混合 扩展 策略 仍 
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然 体现 了 较 好 的 优势 ， 在 SO 到 100 分 钟 期 间 的 优势 尤为 


明 


本 数量 。 对 于 整 


细 古 。 此 处 不 


前 的 扩 


显 ， 通 过 提前 


的 评 
二 于 HPA 方 


TEE, FZE 
展 并 且 相 对 于 
使 用 了 更 少 的 Pod 副本 数量 。 


案 和 


预测 负载 变化 ， 减 少 了 5 次 的 无 意义 伸 
缩 抖 动 ， 同 时 也 通过 更 精确 的 细 粒 度 扩 展 减 少 了 Pod m 
体 的 Pod 副本 数量 会 在 4.4 节 给 予 更 详 
BEDA. 

HVPA 方案 ， 在 图 6(b) 于 图 
60 分 钟 左右 负载 突然 增加 


6(c) 均 给 出 
时 完成 了 提 


他 方案 在 整体 的 资源 使 


上 更 少 ， 即 


的 
时 间 MH 


(a) Kubernetes 方案 对 比 结果 


(c) HVPA 方案 对 比 结果 
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6 内 存 密集 型 负载 扩展 结果 
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4.3.3 周期 型 负载 结果 分 析 


在 应 对 周期 型 负载 时 ， 由 于 其 变化 的 规律 性 是 一 种 比较 
理想 的 状态 ， 所 以 对 负载 的 预测 可 以 更 为 精确 ， 从 而 能 更 准 
确 的 计算 出 资源 的 请 求 ， 提 前 的 进行 混合 自动 扩展 策略 的 部 
署 。 实 现 以 更 少 资 源 完成 扩展 的 目标 。 


以 提前 进 


和 混合 自 


图 7(a) 可 以 看 出 相 比 k8s 方案 时 ， 在 10 到 30 分 钟 时 可 


行 资源 的 下 
用 相对 较 多 的 Pod. 副本 数量 来 进行 提前 扩展 ， 减 少 抖动 次 数 。 
7(b) 与 图 7(c) 分 别 是 本 文 策 
动 扩展 的 对 比 结果 ， 
扩展 方案 ， 本 文 的 策略 会 使 


d, qe 


时 在 40 到 60 分 钟 进行 扩展 时 ， 能 


各 与 预测 式 水 平 自 动 扩 
可 以 看 到 相 比 单纯 采用 预测 
更 少 的 Pods 副本 数量 ， 而 


于 单纯 采用 混合 扩展 策略 的 方案 扩 
更 少 的 扩展 抖动 。 
此 外 ， 还 有 一 种 增长 型 的 负载 测试 结果 ， 与 上 述 不 同 负 


展 的 次 数 更 少 ， 即 


载 的 情况 大 致 相同 ， 此 处 不 再 过 多 分 析 ， 其 扩展 结果 将 会 在 


4.4 节 对 整体 系统 记 


4.4 系统 性 能 评估 
本 节 将 对 上 述 4 种 负载 的 扩展 结果 从 扩展 次 数 与 Pods 


展 策 略 在 应 对 内 存 密集 型 负载 


使 用 数量 进行 评估 与 分 析 。 图 8 
不 同类 型 负载 时 产生 的 扩展 持 
HVPA 策略 在 应 对 4 种 负载 时 扩 
和 HVPA 方案 少 ， 其 中 


改善 了 40% 与 20%; 周 


FP 舍 时 予以 


说 明 。 


显示 了 4 种 扩展 方案 在 应 对 
动 。 可 以 看 出 本 文 的 Pre- 
展 拌 动 的 次 数 比 k8s、HPA 
曾 长 型 负载 对 k8s 和 HVPA 方案 分 别 


期 型 负载 对 HVPA 方案 改善 了 8.5%; 


CPU 密集 型 负载 对 3 种 方案 分 别 改善 了 37.2%，18.2%， 


32.596; 


内 存 密 集 型 负载 分 别 对 3 种 方案 改善 了 18.8%, 
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7.196, 25.796. 
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内 存 密集 型 负载 


载 CPU 密集 型 负载 
负载 类 型 


8 4 种 方案 的 扩展 次 数 对 比 


Fig.8 Comparison of scaled times of four schemes 


果 ， 可 以 看 出 本 文 
案 有 明显 的 改善 ， 
分 别 改善 了 9.496, 


图 9 是 对 120 分 钟 内 扩展 Pod 副本 数量 进行 衡量 的 结 


提出 的 策略 相 较 于 k8s. HPA 和 HVPA Ù 
其 中 面 对 增 长 型 负载 对 k8s 和 HPA 方案 
8.4%; 周期 型 负载 对 于 3 种 方案 则 分 别 


改善 了 9.6%, 11.4, 2.1%; CPU 密集 型 负载 对 k8s 和 HPA 
方案 分 别 改 善 了 9.5%，8.8%; 内 存 密集 型 负载 分 别 对 k8s 和 
HPA 方案 改善 了 12.4%，14.7%。 


本 总 数 (个 ) 


8 


扩展 Pod 


Fig.9 Comparison 
在 应 对 增长 型 
案 多 产生 1 次 的 扩 
对 于 周期 型 负载 ， 


增长 型 负载 


Kubernetes 
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CPUE TL 
负载 类 型 


图 9 4 种 方案 的 扩展 Pod 副本 数量 对 比 


of number of scaled pod replicas of four schemes 
负载 时 ， 本 文 的 扩展 策略 相对 于 HPA 方 
展 抖动 ， 减 少 了 9.4%Pod 副本 使 用 数量 ; 
本 文 策略 以 与 k8s 方案 相同 的 扩展 抖动 ， 


减少 了 9.6% 的 Pod 使 用 数量 ， 对 于 CPU 密集 型 负载 ， 所 提 


出 的 方案 相对 于 HVPA 方案 ， 以 牺牲 2.1% 的 Pod 数量 ， 减 


少 了 13 次 无 谓 的 


扩展 拌 动 ， 而 对 于 内 存 密集 型 负载 ， 则 以 


ChinaXiv 合 作 期 刊 


j : 基于 负载 预测 的 微服 务 混 合 自动 扩展 第 39 卷 第 8 期 


ES 


HE 2.59685] Pod 数量 减少 了 9 次 无 意义 的 扩展 抖动 。 

以 上 是 对 边缘 云 环境 下 的 基于 负载 预测 的 微服 务 混 合 自动 
扩展 策略 的 仿真 结果 分 析 。 从 系统 的 综合 性 能 来 看 ， 无 论 是 从 
扩展 抖动 的 性 能 改善 还 是 Pod 副本 的 使 用 数量 的 性 能 改善 ， 所 
采用 的 预测 式 混 合 自动 扩展 模型 都 取得 了 更 好 的 扩展 结果 。 


5 ”结束 语 


现 有 微服 务 自动 扩展 方案 大 多 是 部 署 在 中 心 去 的， 为 边 
缘 云 的 微服 务 容器 进行 资源 消耗 更 少 的 自动 扩展 是 一 项 挑战 。 
在 本 文中 提出 了 一 种 新 的 算法 ， 用 于 为 部 署 在 边缘 云 的 微服 
务工 业 应 用 程序 确定 一 种 更 为 经 济 有 效 的 自动 扩展 策略 。 与 
当前 流行 的 多 种 方案 相 比 ， 取 得 了 在 扩展 次 数 和 扩展 Pod 容 
器 的 副本 数量 上 的 优化 ， 更 好 的 性 能 。 所 提出 的 方法 使 
用 MSE 最 小 的 监督 机 器 学 习 方 法 对 多 种 类 型 的 负载 进行 预 
测 ， 并 将 预测 后 的 负载 导入 本 文 设计 的 混合 自动 扩展 模块 完 
成 扩展 工作 。 并 使 用 了 两 种 密集 型 负载 和 两 种 合成 负载 进行 
实验 评估 。 结 果 表 明 ， 对 于 两 种 指标 本 文 提出 的 策略 取得 了 
整体 优化 。 本 文 的 研究 内 容 是 一 个 阶段 性 成 果 ， 在 接 下 来 的 
研究 中 ， 本 文 将 尝试 使 用 不 同 的 应 用 程序 来 对 所 提出 的 模型 
进行 测试 ， 此 外 对 于 边缘 云 的 微服 务 自动 扩展 而 言 ， 如 何 降 
低 扩展 的 响应 时 间 ， 从 而 减少 用 户 的 使 用 成 本 也 是 一 个 值得 
研究 方向 之 一 。 
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